kafka的副本以及分区与副本的关系
一 副本的作用1.Kafka 副本作用：提高数据可靠性。2.Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。读写由leader来完成，follower只备份，和leader同步数据，
HBase 的特点是什么
HBase是一个分布式的、面向列的开源数据库存储系统，具有高可靠性、高性能和可伸缩性，它可以处理分布在数千台通用服务器上的PB级的海量数据。HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库。HBase不限制存储的数据的种类，允许动态的、灵活的数据模型。BigTable的底层
Flink内核源码解析(出自B站尚硅谷)
文章目录任务提交流程本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！任务提交流程实例以yarn-per-job为例。flink提交作业是通过flink run进行提
基于大数据平台的毕业设计
前言最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的…所以就抽空写一写自己毕业设计的一个思路，大数据是我实习自学的，这个思路是我当初自己想的，就当做一份参考吧。在我毕业那年，同学们毕业设计大多都是以Java语言开发的各种管理系统、xx商城为主，包括我刚开始的
大数据平台性能监控
大数据监控是指通过大数据技术手段获取、收集、分析数据，并能够准确分析信息，有效预测信息发展动态趋势。大数据监控主要围绕着海量全网数据，大多数需要借助监测系统来协助分析数据。PrometheusPrometheus注重于数据存储及分析，存储采集到的监控数据并以metric的形式保存在其中，且能够将数据
利用Python制作动漫人物
利用Python制作动漫人物
HBase基础及shell操作
什么是HBaseHBase是采用java语言编写的一款 apache 开源的基于HDFS的NoSQL型数据库，不支持 SQL，不支持事务，不支持Join操作，没有表关系HBase特点1.不支持事务2.主要存储结构化数据以及半结构化的数据3.HBase中数据存储都是以字节的形式来存储的4.HBase
什么是集群？看完这篇你就知道了
什么是集群？集群有哪些分类？集群的实现方式有哪些？什么是正向代理、反向代理、透明代理？什么叫集群？多台主机提供相同的服务的一组序列就叫集群简单地说，集群就是指一组（若干个）相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点（集群系统中的单个计算机通常称为节点）都是运行各自
Hive调优及参数优化（详细版）
Hive调优及参数优化，涵盖：基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......
大数据之实时数据分析之Apache Doris数据库
Apache Doris是一款现代 MPP (Massively Parallel Processing大规模并行处理)的分布式 SQL 分析数据库，所谓分析数据库就是将其数据集分布在许多机器或节点上，以处理大量数据，采用 Apache 2.0认证授权。它的前身是原百度 Palo，由百度在2017
Hadoop单机版安装（保姆级教学）
Hadoop单机版（保姆级教学），希望能给你带来帮助。
关于Hive中的存储格式及压缩格式详解
最近面试，遇到了关于Hive的数据存储格式的问题，回答不尽人意，抽时间总结多看看关于Hive存储格式和压缩格式的内容。TEXTFILE 是 Hive 默认文件存储方式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大，数据不支持分片，数据加载导入方式可以通过LOAD和INSERT两种方式加
大数据之Hive：space函数
1、空格字符串函数：space语法: space(int n)返回值: string说明：返回长度为n的空格字符串举例：hive> select space(10) from dual;hive> select length(space(10)) from dual;102、space函
Elasticsearch密码设置及其后续问题解决
一.设置密码1.在elasticsearch.yml中配置#开启密码验证xpack.security.enabled: truexpack.license.self_generated.type: basicxpack.security.transport.ssl.enabled: truehttp
云平台架构知识点总结
详细介绍了云计算技术与应用基础的理论知识
Spark内存资源分配——spark.executor.memory等参数的设置方法
Spark内存资源分配——spark.executor.memory等参数的设置方法
Flink -- 内置函数(ALL)
目录比较函数1.比较函数比较函数的函数名和功能描述如下： 函数名 功能描述 函数名 功能描述 value1 = value2 比较 value1 和 value2 是否相等，如果相等则返回 TRUE，如果不相等则返回 FALSE。
java常用省份合集
1100=北京市1200=天津市1300=河北省1301=河北省石家庄市1302=河北省唐山市1303=河北省秦皇岛市秦皇岛市1304=河北省邯郸市1305=河北省邢台市1306=河北省保定市1307=河北省张家口市1308=河北省承德市1309=河北省沧州市1310=河北省廊坊市1311=河北省衡
数据分析Power BI案例：产品与客户销售数据分析
本节课我们以产品与销售数据表.xlsx文件作为数据源，实现一个简单的Power BI项目打开Power BI Desktop，从登录界面或文件选项选择“获取数据”，选择从“Excel”导入，点击连接，找到产品与销售数据表.xlsx文件并打开。选中两个sheet表，然后点击加载数据。ctrl+s保存为
Mysql高频面试题（后端大数据面试必备）
个人在面试中被问到以及收集网上的高频Mysql面试题，希望可以帮助到备战求职的同学。
